# -*- encoding:utf-8 -*-

from service.stocknews.StockNewsCrawler import StockNewsCrawler
from service.stocknews.EastmoneyNewsCrawler import EastmoneyNewsCrawler
import utils.FiltRepeatUtil as filt_util

__author__ = 'shudong.msd'


def write_sina_news():
    print u'开始 stocknews sina部分 抓取'

    s = StockNewsCrawler()
    # 新浪
    #排行榜
    count = 0

    # 汇总
    s.set_target('http://top.finance.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=finance_0_suda&top_time=20150927&top_show_num=100&top_order=DESC&js_var=all_1_data&get_new=1')
    count += s.writeNewsToDB(23)
    print u'sina 排行榜 汇总部分 抓取完毕'
    # 新闻
    s.set_target('http://top.finance.sina.com.cn/ws/GetTopDataList.php?top_not_url=/stock/|/money/&top_type=day&top_cat=finance_0_suda&top_time=20150927&top_show_num=100&top_order=DESC&js_var=all_1_data')
    count += s.writeNewsToDB(23)
    print u'sina 排行榜 新闻部分 抓取完毕'
    # 证券
    s.set_target('http://top.finance.sina.com.cn/ws/GetTopDataList.php?top_not_url=/ustock/&top_type=day&top_cat=finance_stock_conten_suda&top_time=20150927&top_show_num=100&top_order=DESC&js_var=stock_1_data')
    count += s.writeNewsToDB(23)
    print u'sina 排行榜 证券部分 抓取完毕'
    # 理财
    s.set_target('http://top.finance.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=finance_money_conten_suda&top_time=20150927&top_show_num=100&top_order=DESC&js_var=money_1_data')
    count += s.writeNewsToDB(23)
    print u'sina 排行榜 理财部分 抓取完毕'


    # 大盘
    s.set_target('http://roll.finance.sina.com.cn/finance/zq1/gsjsy/index.shtml')
    count += s.writeNewsToDB(21)
    s.set_target('http://roll.finance.sina.com.cn/finance/zq1/gsjsy/index_2.shtml')
    count += s.writeNewsToDB(21)
    print u'sina 大盘部分 抓取完毕'

    # 个股
    s.set_target('http://finance.sina.com.cn/column/ggdp.shtml')
    count += s.writeNewsToDB(22)
    print u'sina 个股部分 抓取完毕'

    filt_util.filt_repeat('tb_stock_news')

    print 'ok!!!'

    return count


def write_east_news():
    print u'开始 stocknews east部分 抓取'

    s = EastmoneyNewsCrawler()
    count = 0
    # 大盘分析 11
    s.set_target('http://stock.eastmoney.com/news/cdpfx.html')
    count += s.writeNewsToDB(11)
    print u'east 大盘部分 抓取完毕'
    # 个股 12
    s.set_target('http://stock.eastmoney.com/news/cggdj.html')
    count += s.writeNewsToDB(12)
    print u'east 个股部分 抓取完毕'
    # 主力 13
    s.set_target('http://stock.eastmoney.com/news/czldt.html')
    count += s.writeNewsToDB(13)
    print u'east 主力部分 抓取完毕'
    # 机构 14
    s.set_target('http://stock.eastmoney.com/news/cjggd.html')
    count += s.writeNewsToDB(14)
    print u'east 机构部分 抓取完毕'

    filt_util.filt_repeat('tb_stock_news')

    print 'ok!!!'

    return count